From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search
通过多智体协议蒸馏弥合闭源与开源Agent搜索的分布鸿沟
🧭 多智体协议蒸馏 · Agent搜索 ★ 深度解读
University of Chinese Academy of Sciences · Tsinghua University · Peking University · Beijing Institute of Technology
提出结构化JSON协议作为中间表示，将闭源多智体的推理策略蒸馏到开源学生模型，显著缓解风格漂移和幻觉。
📌 工作参考价值（4 点）
- 用结构化协议替代原始文本进行蒸馏：在Agent搜索场景中，直接模仿闭源模型的自然语言轨迹会导致灾难性的风格漂移和幻觉，业务上若想用GPT/Claude蒸馏小模型，务必把推理过程抽象为JSON、流程图等结构化中间表示，剥离语言风格。
- 离线多智体合成高质量训练信号：用多智体系统（编排者+搜索者+修复者+协议者）提前生成高质量推理协议，训练时只复用协议，不增加在线推理开销。这种模式可迁移到电商导购Agent的多轮决策合成：用强模型离线生成“商品推荐-推理-校验”协议，蒸馏到线上轻量模型。
- 在线自蒸馏与RL的联合训练配方：将结构化协议作为特权信息（privileged information）输入教师分支，与学生分支做token级KL对齐，同时叠加GRPO稀疏奖励，λ=0.05附近是甜区。业务中复现类似流水线时，可直接参考该联合损失权重调优经验。
- 跨教师模型的可迁移性：结构化协议对不同闭源教师（Claude/GPT/Gemini）都有效，方差极小，意味着后续替换底层LLM API时无需重新调参，可大幅降低迭代成本。